#초경량 모델

프리즘ML, 퀄컴 스마트 글래스에 초경량 LLM 탑재

칼텍 연구진이 창업하고 UC 버클리의 이온 스토이카가 자문하는 AI 랩 프리즘ML(PrismML)이 퀄컴 스냅드래곤 AR1 Gen 1 플랫폼 기반 AI 스마트 글래스에서 로컬 구동 가능한 1비트 '봉사이(Bonsai)' LLM을 공개했습니다. 이 모델은 4배 압축에도 표준 벤치마크 성능을 거의 유지하며, 시각·언어에 최적화된 20억 파라미터 모델로 착용자가 보는 것을 실시간으로 질문할 수 있게 합니다. 프리즘ML은 프라이버시와 막대한 컴퓨팅 수요 문제가 있는 폐쇄형 AI에 대한 대안으로 온디바이스 오픈 웨이트 AI를 지향하지만, 아직 이 모델을 탑재한 스마트 글래스는 발표되지 않았습니다.

스마트폰에서 구동되는 최초의 27B급 AI 모델 '분사이(Bonsai)'

PrismML이 1비트(1-bit) 및 3진법(ternary) 양자화 기술을 적용한 초경량 AI 모델 '분사이 27B(Bonsai 27B)'를 공개했습니다. 이 모델은 스마트폰이나 일반 노트북 환경에서도 270억 개 매개변수(27B) 수준의 고성능 추론, 코딩, 시각 및 에이전트 기능을 온디바이스로 실행할 수 있게 해주는 패러다임 전환적 의미를 지닙니다. 지능 손실은 최소화(기존 대비 90~95% 성능 유지)하면서도 메모리는 혁신적으로 절감하여, 강력한 오픈소스 AI의 모바일 활용을 본격화할 것으로 기대됩니다.